<!DOCTYPE HTML>
<html>

<head>
	<link rel="bookmark"  type="image/x-icon"  href="/img/logo.jpg"/>
	<link rel="shortcut icon" href="/img/logo.jpg">
	
			    <title>
    北望你的安
    </title>
    <meta charset="utf-8" />
    <meta name="viewport" content="width=device-width, initial-scale=1, user-scalable=no" />
    <link rel="stylesheet" href="/css/mic_main.css" />
    <link rel="stylesheet" href="/css/dropdownMenu.css" />
    <meta name="keywords" content="北望你的安" />
    
    	<script async src="//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js"></script>
	 
    <noscript>
        <link rel="stylesheet" href="/css/noscript.css" />
    </noscript>
    <style type="text/css">
        body:before {
          content: ' ';
          position: fixed;
          top: 0;
          background: url('/img/bg.jpg') center 0 no-repeat;
          right: 0;
          bottom: 0;
          left: 0;
          background-size: cover; 
        }
    </style>

			    
  


    <script src="/js/jquery.min.js"></script>
    <script src="/js/jquery.scrollex.min.js"></script>
    <script src="/js/jquery.scrolly.min.js"></script>
    <script src="/js/skel.min.js"></script>
    <script src="/js/util.js"></script>
    <script src="/js/main.js"></script>
	
</head>
    
		
<!-- Layouts -->



<!--  代码渲染  -->
<link rel="stylesheet" href="/css/prism_coy.css" />
<link rel="stylesheet" href="/css/typo.css" />
<!-- 文章页 -->
<body class="is-loading">
    <!-- Wrapper 外包 s-->
    <div id="wrapper" class="fade-in">
        <!-- Intro 头部显示 s -->
        <!-- Intro 头部显示 e -->
        <!-- Header 头部logo start -->
        <header id="header">
    <a href="/" class="logo">Krystalan</a>
</header>
        <!-- Nav 导航条 start -->
        <nav id="nav" class="special" >
            <ul class="menu links" >
			<!-- Homepage  主页  --> 
			<li >
	            <a href="/" rel="nofollow">主页</a>
	        </li>
			<!-- categories_name  分类   --> 
	        
	        <li class="active">
	            <a href="#s1">分类</a>
	                    <ul class="submenu">
	                        <li>
	                        <a class="category-link" href="/categories/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0/">强化学习</a></li><li><a class="category-link" href="/categories/%E6%95%B0%E5%AD%A6/">数学</a></li><li><a class="category-link" href="/categories/%E7%AE%97%E6%B3%95/">算法</a></li><li><a class="category-link" href="/categories/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/">自然语言处理</a></li><li><a class="category-link" href="/categories/%E9%9A%8F%E7%AC%94/">随笔</a>
	                    </ul>
	        </li>
	        
	        <!-- archives  归档   --> 
	        
	        
		        <!-- Pages 自定义   -->
		        
		        <li>
		            <a href="/tags/" title="标签">
		                标签
		            </a>
		        </li>
		        
		        <li>
		            <a href="/gallery/" title="相册">
		                相册
		            </a>
		        </li>
		        


            </ul>
            <!-- icons 图标   -->
			<ul class="icons">
                    
                    <li>
                        <a title="github" href="https://github.com/krystalan" target="_blank" rel="noopener">
                            <i class="icon fa fa-github"></i>
                        </a>
                    </li>
                    
                    <li>
                        <a title="500px" href="https://www.zhihu.com/people/krystalzhu-an" target="_blank" rel="noopener">
                            <i class="icon fa fa-500px"></i>
                        </a>
                    </li>
                    
			</ul>
</nav>

        <div id="main" >
            <div class ="post_page_title_img" style="height: 25rem;background-image: url(/img/18.jpg);background-position: center; background-repeat:no-repeat; background-size:cover;-moz-background-size:cover;overflow:hidden;" >
                <a href="#" style="padding: 4rem 4rem 2rem 4rem ;"><h2 >抽取式文本摘要</h2></a>
            </div>
            <!-- Post -->
            <div class="typo" style="padding: 3rem;">
                <p>本文主要记录抽取式文摘的一些总结<br>PaperList：<u><a href="http://pfliu.com/pl-summarization/summ_paper_gen-ext.html" target="_blank" rel="noopener">《抽取式摘要10篇必读论文》</a></u>  </p>
<h1 id="1-基于神经网络抽取句子与单词的摘要模型"><a href="#1-基于神经网络抽取句子与单词的摘要模型" class="headerlink" title="1. 基于神经网络抽取句子与单词的摘要模型"></a>1. 基于神经网络抽取句子与单词的摘要模型</h1><h2 id="1-1-论文名称"><a href="#1-1-论文名称" class="headerlink" title="1.1 论文名称"></a>1.1 论文名称</h2><p>2016 ACL <u><a href="https://arxiv.org/abs/1603.07252" target="_blank" rel="noopener">Neural Summarization by Extracting Sentences and Words</a></u></p>
<h2 id="1-2-动机"><a href="#1-2-动机" class="headerlink" title="1.2 动机"></a>1.2 动机</h2><p>因为是2016年的论文，基本上是利用神经网络处理文本摘要问题的先河，解决了以往繁琐的特征工程。并且构建了DailyMail摘要数据集。  </p>
<h2 id="1-3-模型"><a href="#1-3-模型" class="headerlink" title="1.3 模型"></a>1.3 模型</h2><p><img src="/images/ExtSum/1.jpg" alt="NN-SE"><br>论文一共提出来了两个模型，分别是NN-SE和NN-WE分别是Neural Networks - Sentences Extraction和Neural Networks - Word Extraction，这里主要介绍一下NN-SE。</p>
<p>首先，将一个文档编码，下面的部分是句级编码，使用了CNN，对于原始文本中的每个词都是用了预训练好的词向量（skip-gram），在图中以5维为例，后使用不同Width的CNN，6个卷积核，来提取文本特征，其中蓝色所示的卷积操作width为2，红色则为3，之后对于每个卷积核提取的特征做max-pooling，之后把不同尺度得到的句级特征相加得到最终句子表示。<br>有了句子表示之后，利用LSTM获取文档表示，最后句子提取部分使用了另一个LSTM，每一步可能获取到一个句子为摘要句的概率，计算方式如下：<br><img src="/images/ExtSum/2.jpg" alt="句级提取"><br>其中pt-1是上一个句子为摘要句的概率，利用文档编码LSTM的隐层状态和句子抽取器LSTM的隐层状态去预测一个句子为摘要句的概率。由于在训练和测试时，这里存在着一个误差，训练的时候我们是知道哪个句子应该是摘要句，哪个句子不是。而在测试的时候，我们只能使用上一步预测的结果，因此这里在测试时做了一个调整，如果上一步句子不能够很精准度的预测出是否为摘要句，那就先把它当做摘要句，让句子提取器LSTM继续往下运行着，之后再把它改成此前预测的概率。主要是为了避免错误累加。</p>
<h2 id="1-4-实验结果"><a href="#1-4-实验结果" class="headerlink" title="1.4 实验结果"></a>1.4 实验结果</h2><p><img src="/images/ExtSum/3.jpg" alt="实验结果">   </p>
<h1 id="2-SummaRuNNer"><a href="#2-SummaRuNNer" class="headerlink" title="2.SummaRuNNer"></a>2.SummaRuNNer</h1><h2 id="2-1-论文名称"><a href="#2-1-论文名称" class="headerlink" title="2.1 论文名称"></a>2.1 论文名称</h2><p>2017 AAAI <u><a href="https://arxiv.org/abs/1611.04230" target="_blank" rel="noopener">SummaRuNNer：A Recurrent Neural Network based Sequence Model for Extractive Summarization of Documents</a></u></p>
<h2 id="2-2-动机"><a href="#2-2-动机" class="headerlink" title="2.2 动机"></a>2.2 动机</h2><p>增强文本摘要的可解释性</p>
<h2 id="2-3-模型"><a href="#2-3-模型" class="headerlink" title="2.3 模型"></a>2.3 模型</h2><p><img src="/images/ExtSum/4.jpg" alt="SummaRuNNer"><br>其中最下方的输入是每句话中的单词，然后用一个双向GRU获取单词的表示，之后通过单词表示得到句意表示。获得不同句子的句意表示后接下来要计算文档表示：<br><img src="/images/ExtSum/5.jpg" alt="SummaRuNNer"><br>hj是每个句子的表示，分为前向GRU得到的隐层向量与后向GRU得到的隐层向量的拼接，之后通过平均池化的思想将每个单词的表示结合形成文档表示d。<br>对于分类任务，我们对于每个句子计算其为摘要句的概率：<br><img src="/images/ExtSum/6.jpg" alt="SummaRuNNer"><br>首先，第一行是计算了句子本身所包含的信息量，第二行计算的是句子与整个文档的相关性，第三行减去冗余度，最后加入句子在文章中的绝对位置和相对位置信息。sj是摘要在第j句位置的动态表示，计算如下：<br><img src="/images/ExtSum/7.jpg" alt="SummaRuNNer"><br>也就是，前几个句子的表示分别乘以他们为摘要的概率，第三行以此来减少最终摘要的冗余度。</p>
<h2 id="2-4-实验结果"><a href="#2-4-实验结果" class="headerlink" title="2.4 实验结果"></a>2.4 实验结果</h2><p><img src="/images/ExtSum/8.jpg" alt="实验结果"><br><img src="/images/ExtSum/9.jpg" alt="实验结果"><br><img src="/images/ExtSum/10.jpg" alt="实验结果"><br><img src="/images/ExtSum/11.jpg" alt="实验结果"><br>最后说明一下，该模型能够增强可解释性的原因：<br><img src="/images/ExtSum/12.jpg" alt="实验结果"><br>因为它可以在不同角度评估一条句子是否为摘要句，与2.3中最终训练的目标函数相关。</p>
<h1 id="3-NeuSum"><a href="#3-NeuSum" class="headerlink" title="3.NeuSum"></a>3.NeuSum</h1><h2 id="3-1-论文名称"><a href="#3-1-论文名称" class="headerlink" title="3.1 论文名称"></a>3.1 论文名称</h2><p>2018 ACL：<u><a href="http://arxiv.org/abs/1807.02305" target="_blank" rel="noopener">Neural Document Summarization by Jointly Learning to Score and Select Sentences</a></u></p>
<h2 id="3-2-动机"><a href="#3-2-动机" class="headerlink" title="3.2 动机"></a>3.2 动机</h2><p>此前的抽取式摘要任务基本分为两个子任务：句子评分、句子选取。本文学习一个end2end框架联合学习句子评分与句子选取。在评分系统中融入了选择策略</p>
<h2 id="3-3-模型"><a href="#3-3-模型" class="headerlink" title="3.3 模型"></a>3.3 模型</h2><p><img src="/images/ExtSum/15.jpg" alt="模型"><br>首先，在图的左半部分是文档编码器，与前两个模型类似分为句级与文档级，使用双向GRU进行编码。<br>右半部分则为句子评分与句子选择的联合框架，它有两个作用：①保留已经选择为摘要的句子的信息②基于已有的摘要去评估剩下句子的重要性。<br>使用了GRU去记录已经产生的摘要信息，使用MLP（Muliti-Layer Perceptron）给句子打分：<br><img src="/images/ExtSum/16.jpg" alt="模型"><br>ht就代表了当前摘要的记录，δ函数则对于当前GRU隐层状态ht去计算剩余的每句话为摘要的概率，Ws、Wq、Wd都是可以学习的参数。初始化的参数设置如下：<br><img src="/images/ExtSum/17.jpg" alt="模型"><br>最后选取概率最大的句子为下一步抽取出的摘要句：<br><img src="/images/ExtSum/18.jpg" alt="模型">   </p>
<p>那如何去训练产生下一个句子的概率呢？目标函数如下：<br><img src="/images/ExtSum/19.jpg" alt="模型"><br>g函数的意思是，加上Si之后的摘要比加之前的摘要提升了多少Rouge分数，之后又归一化至[0，1]区间内，再往后可以利用这个提升至去计算一个概率分布（下句话选哪句的概率分布），用这个概率分布就可以指导句子选择模块所产生的概率分布。</p>
<h2 id="3-4-实验结果"><a href="#3-4-实验结果" class="headerlink" title="3.4 实验结果"></a>3.4 实验结果</h2><p><img src="/images/ExtSum/13.jpg" alt="实验结果"><br>结果比Pointer-generator、NN-SE（第一节讲述的模型）、SummaRuNNer（第二节讲述的模型）都要好。其实在这里我又发现在CNN/DailyMail数据集上SummaRuNNer（2017 AAAI）的效果竟然没有NN-SE（2016 ACL）好。<br>作者还进行了人工评估实验：<br><img src="/images/ExtSum/14.jpg" alt="实验结果">   </p>
<h1 id="4-BanditSum"><a href="#4-BanditSum" class="headerlink" title="4.BanditSum"></a>4.BanditSum</h1><h2 id="4-1-论文名称"><a href="#4-1-论文名称" class="headerlink" title="4.1 论文名称"></a>4.1 论文名称</h2><p>2018 EMNLP ： <u><a href="https://arxiv.org/abs/1809.09672" target="_blank" rel="noopener">BANDITSUM : Extractive Summarization as a Contextual Bandit</a></u></p>
<h2 id="4-2-动机"><a href="#4-2-动机" class="headerlink" title="4.2 动机"></a>4.2 动机</h2><p>把抽取式文摘看成上下文bandit，用强化学习搞。</p>
<h2 id="4-3-模型"><a href="#4-3-模型" class="headerlink" title="4.3 模型"></a>4.3 模型</h2><p>[TODO]</p>
<h2 id="4-4-实验结果"><a href="#4-4-实验结果" class="headerlink" title="4.4 实验结果"></a>4.4 实验结果</h2><p><img src="/images/ExtSum/20.jpg" alt="实验结果"><br>对比了一下效果没有NEUSUM（第三节所讲的模型）好，低了零点几个百分点。</p>
<h1 id="5-REFRESH"><a href="#5-REFRESH" class="headerlink" title="5.REFRESH"></a>5.REFRESH</h1><h2 id="5-1-论文名称"><a href="#5-1-论文名称" class="headerlink" title="5.1 论文名称"></a>5.1 论文名称</h2><p>2018 NAACL：<u><a href="https://arxiv.org/abs/1802.08636" target="_blank" rel="noopener">Ranking Sentences for Extractive Summarization with Reinforcement Learning</a></u><br>这篇paper的引用还挺高的。</p>
<h2 id="5-2-动机"><a href="#5-2-动机" class="headerlink" title="5.2 动机"></a>5.2 动机</h2><p>也是一篇基于强化学习的工作，将抽取式摘要看成排序句子问题，直接用RL来优化ROUGE</p>
<h2 id="5-3-模型"><a href="#5-3-模型" class="headerlink" title="5.3 模型"></a>5.3 模型</h2><p><img src="/images/ExtSum/22.jpg" alt="实验结果">   </p>
<h2 id="5-4-实验结果"><a href="#5-4-实验结果" class="headerlink" title="5.4 实验结果"></a>5.4 实验结果</h2><p><img src="/images/ExtSum/21.jpg" alt="实验结果">   </p>
<h1 id="6-HIBERT"><a href="#6-HIBERT" class="headerlink" title="6.HIBERT"></a>6.HIBERT</h1><h2 id="6-1-论文名称"><a href="#6-1-论文名称" class="headerlink" title="6.1 论文名称"></a>6.1 论文名称</h2><p>2019 ACL：<u><a href="https://arxiv.org/abs/1905.06566" target="_blank" rel="noopener">HIBERT : Document Level Pre-training of Hierarchical Bidirectional Transformers for Document Summarization</a></u></p>
<h2 id="6-2-动机"><a href="#6-2-动机" class="headerlink" title="6.2 动机"></a>6.2 动机</h2><p>使用transformer做摘要的一个工作</p>
<h2 id="6-3-模型"><a href="#6-3-模型" class="headerlink" title="6.3 模型"></a>6.3 模型</h2><p><img src="/images/ExtSum/24.jpg" alt="模型"><br>wi代表的一句话中的单词，EOS是一句话的结束token，在获得句子表示方面，使用了transformer，并将EOS token的最终表示当做句子表示，之后在句子表示上再使用transformer以获得上下文相关的句子表示。此前的大部分预训练语言模型都是学习句子的表示（例如GPT2、ELMO、BERT等），而HIBERT是为了学习文档表示。  </p>
<p>所以搞了一个Document Masking来预测句子。在文档D中，随机选择15%的句子去mask，接着去预测mask的句子（80%的情况下是直接mask选中的句子，10%不变，10%随机用另外一个句子去替代它）。预测的过程是用transformer decoder完成的，BOS是代表句子开始的token。  </p>
<p>在最终抽取摘要时，直接利用包含上下文的句级表示d来计算概率，并取概率高的句子为摘要句。<br><img src="/images/ExtSum/25.jpg" alt="模型">   </p>
<h2 id="6-4-实验结果"><a href="#6-4-实验结果" class="headerlink" title="6.4 实验结果"></a>6.4 实验结果</h2><p><img src="/images/ExtSum/23.jpg" alt="实验结果"><br>数据集：CNN/DM<br>HIBERTs：Transformer6层，隐层向量512维，8头注意力<br>HIBERTm：Transformer6层，隐层向量768维，12头注意力<br>HIBERTs（in-domain）：意思就是只在CNN/DM数据集上做预训练，不加in-domain的是在CNN/DM与GIGA-CM两个数据集上训练。   </p>
<h1 id="7-BertSum"><a href="#7-BertSum" class="headerlink" title="7.BertSum"></a>7.BertSum</h1><h2 id="7-1-论文名称"><a href="#7-1-论文名称" class="headerlink" title="7.1 论文名称"></a>7.1 论文名称</h2><p>2019 EMNLP ： <u>Text Summarization with Pretrained Encoders</u><br>CODE：<a href="https://github.com/nlpyang/PreSumm" target="_blank" rel="noopener">https://github.com/nlpyang/PreSumm</a></p>
<h2 id="7-2-动机"><a href="#7-2-动机" class="headerlink" title="7.2 动机"></a>7.2 动机</h2><p>其实这篇不仅有抽取式的，也有一些生成式的思考，但我们主要focu抽取式。直接用BERT，憋搞那些花里胡哨的了，这篇目前是CNN/DM的SOTA。  </p>
<h2 id="7-3-模型"><a href="#7-3-模型" class="headerlink" title="7.3 模型"></a>7.3 模型</h2><p><img src="/images/ExtSum/27.jpg" alt="模型"><br>为了能在抽取式文摘任务上使用BERT模型，这里做了一些改动：在每个句子前加了[CLS]token。这个token能逐渐get整句话的表示。使用[SEP]token，来区分一个文档当中的不同句子。又使用了segment embedding EA和EB来区分该句话是单数句还是偶数句。position embedding是随机初始化的，并且在微调过程中作为参数而更改。  </p>
<p>抽取摘要过程：<br>假设一个文档d，其中包含句子sent1,sent2,…,sentm。在BertSum中ti代表第i句话的表示（由[CLS]token捕获）<br><img src="/images/ExtSum/28.jpg" alt="模型"><br>其中T就是BertSum产生的句子表示，PosEmb是指在句子表示上加入位置信息（用到了sinusoid postional embedding）。之后通过多头注意力机制、层归一化以及前馈神经网络得到最终的句子表示。<br><img src="/images/ExtSum/29.jpg" alt="模型"><br>hiL代表第i句话在L层transformer提取之后的表示。作者分别尝试了L为1，2，3的情况，结果发现L为2时效果最好。损失函数就是分类问题当中常用的交叉熵。</p>
<h2 id="7-4-实验结果"><a href="#7-4-实验结果" class="headerlink" title="7.4 实验结果"></a>7.4 实验结果</h2><p><img src="/images/ExtSum/26.jpg" alt="实验结果"><br>数据集：CNN/DM</p>
<h1 id="8-MatchingSum"><a href="#8-MatchingSum" class="headerlink" title="8.MatchingSum"></a>8.MatchingSum</h1><h2 id="8-1-论文名称"><a href="#8-1-论文名称" class="headerlink" title="8.1 论文名称"></a>8.1 论文名称</h2><p>2020 ACL：<u><a href="http://pfliu.com/paper/ACL2020_MatchingSum.pdf" target="_blank" rel="noopener">Extractive Summarization as Text Matching</a></u><br>CODE：<a href="https://github.com/maszhongming/MatchSum" target="_blank" rel="noopener">https://github.com/maszhongming/MatchSum</a><br>作者介绍文：<u><a href="https://zhuanlan.zhihu.com/p/133096909" target="_blank" rel="noopener">《文本摘要新框架，抽取式摘要“轻松”取得SOTA》</a></u></p>
<h2 id="8-2-动机"><a href="#8-2-动机" class="headerlink" title="8.2 动机"></a>8.2 动机</h2><p>将抽取式摘要任务建模成文本匹配任务，源文档和候选摘要可以在语义空间上做匹配，好的候选摘要通常在语义上与源文档更接近。<br><img src="/images/ExtSum/31.jpg" alt="动机">   </p>
<h2 id="8-3-模型"><a href="#8-3-模型" class="headerlink" title="8.3 模型"></a>8.3 模型</h2><h2 id="8-4-实验结果"><a href="#8-4-实验结果" class="headerlink" title="8.4 实验结果"></a>8.4 实验结果</h2><p><img src="/images/ExtSum/30.jpg" alt="实验结果"><br>在CNN/DM数据集上达到了新的SOTA</p>

            </div>

            <!-- Post Comments -->
            

        </div>
        <!-- Copyright 版权 start -->
                <div id="copyright">
            <ul>
                <li>&copy;2020 北望你的安. 版权所有</li>
            </ul>
            
                <span id="busuanzi_container_site_pv">本站总访问量<span id="busuanzi_value_site_pv"></span>次，</span>
				<span id="busuanzi_container_site_uv"> 访客数 <span id="busuanzi_value_site_uv"></span> 人. </span>
			
			<br>
			<span>友情链接：<a href='http://www.demilab.cn' target='_blank'>DEMI实验室</a>&nbsp;&nbsp;&nbsp;<a href='http://zd11024.cn/' target='_blank'>ZD</a></span>
        </div>
    </div>
</body>



 	
</html>
